Vào ngày 24 tháng 5 năm 1859, Von Loë thành hôn với Franziska Gräfin von Hatzfeldt (1833 – 1922), và đây là cuộc hôn nhân lần thứ hai của bà Franziska. Cặp đôi này có ba người con, bao gồm Helene và cặp song sinh Margarethe và Hubert. Trước đó, trong cuộc hôn nhân lần đầu của mình với Paul von Nimptsch, Franziska cũng đã có ba người con, Hermann, Guido và Maria Magdalena. Ông có người em dâu là Elisabeth zu Carolath-Beuthen và em dâu ghẻ là Marie von Schleinitz, một nhân vật đối lập với Otto von Bismarck. Người em trai của Loë, Otto von Loë, là một luật gia và thành viên Quốc hội.